Emotional Speech Classification Based on Multi View Characterization

International audienc

A new approach for motherese detection using a semi-supervised algorithm

International audienc

Do Parents Recognize Autistic Deviant Behavior Long before Diagnosis? Taking into Account Interaction Using Computational Methods

BACKGROUND: To assess whether taking into account interaction synchrony would help to better differentiate autism (AD) from intellectual disability (ID) and typical development (TD) in family home movies of infants aged less than 18 months, we used computational methods. METHODOLOGY AND PRINCIPAL FINDINGS: First, we analyzed interactive sequences extracted from home movies of children with AD (N = 15), ID (N = 12), or TD (N = 15) through the Infant and Caregiver Behavior Scale (ICBS). Second, discrete behaviors between baby (BB) and Care Giver (CG) co-occurring in less than 3 seconds were selected as single interactive patterns (or dyadic events) for analysis of the two directions of interaction (CG→BB and BB→CG) by group and semester. To do so, we used a Markov assumption, a Generalized Linear Mixed Model, and non negative matrix factorization. Compared to TD children, BBs with AD exhibit a growing deviant development of interactive patterns whereas those with ID rather show an initial delay of development. Parents of AD and ID do not differ very much from parents of TD when responding to their child. However, when initiating interaction, parents use more touching and regulation up behaviors as early as the first semester. CONCLUSION: When studying interactive patterns, deviant autistic behaviors appear before 18 months. Parents seem to feel the lack of interactive initiative and responsiveness of their babies and try to increasingly supply soliciting behaviors. Thus we stress that credence should be given to parents' intuition as they recognize, long before diagnosis, the pathological process through the interactive pattern with their child

Analyse de Signaux Sociaux pour la Modélisation de l'interaction face à face

This thesis is situated in the boarder of two research do- mains: emotional speech recognition and affective interaction analysis. It revolves around the automatic detection of infant-directed speech in home made videos and the analysis of child-parent interaction in the same data. In order to analyse a special kind of speech called motherese or infant-directed speech, we first developed an automatic infant-directed speech detection system based on supervised learning approach, with the aim to parent-infant interaction analysis. However the supervised methods still have some significant limitations. One of these limitations is that large amount of labelled data are needed for training. Therefore, to overcome this problem, we implemented a new semi-supervised approach for infant directed speech detection based on the extension of the standard co-training algorithm of Blum and Mitchell. The second part of this thesis consists of study of non-verbal communication. We focus on the analysis and interpretation of different social signals exchanged in parent-infant interaction. However, there are considerable differences among infants in the quality of interaction with their parents. These differences depend especially on the infant's development which affects the parent behaviours. In our study we are interested on 3 groups of infants: typical development infants (TD), autistic infants (AD) and mental retardation infants (MR). In order to identify the groups of signs/behaviours that differentiate the development of the three groups of children we investigated a clustering method NMF (non- negative matrix factorization), an algorithm based on decomposition by parts that can reduce the dimension of interaction signs to a few number of interaction behaviours groups. Coupled with a statistical data representation, usually used for document clustering and adapted to our work.Cette thèse se situe à la frontière des domaines de la reconnaissance de signaux émotionnels et de l'analyse de l'interaction sociale. Dans un premier temps, nous avons étudié une émotion non prototypique, appelée motherese, qui joue un rôle important dans l'interaction parent-enfant. Afin d'étudier cette émotion, nous avons développé un système de détection automatique des émotions basé d'abord sur l'apprentissage supervisé. Ensuite pour pallier au manque de données étiquetées, nous avons développé une approche semi-supervisée permettant une meilleure qualité de classification avec un coût inférieur. Cette approche permet de combiner des exemples étiquetés et non étiquetés pour l'apprentissage. Le système proposé est une extension de l'algorithme de co-apprentissage. Cette approche est dite multi-vue car elle consiste à combiner différentes vues (descripteur+classifieur) afin d'obtenir une prédiction unique par exemple de test. Au-delà de la reconnaissance de signaux émotionnels, il s'agit de structurer et d'interpréter les différents signaux de communication dans un contexte d'interaction face à face. Nous avons proposé un modèle computationnel de l'interaction parent-enfant. Il consiste à modéliser les réponses des enfants par rapport aux stimulations des parents. Nous avons proposé ainsi des analyses quantitative et statistique afin d'étudier l'interdépendance des signaux d'interaction et les comportements humains, en particulier le rôle de motherese pour l'engagement de l'interaction parent-enfant. Enfin, dans le but d'identifier les groupes de comportements les plus pertinents, nous avons développé une technique de regroupement automatique de signaux qui permet d'extraire les différents patterns interactifs. Cette extraction de comportements interactifs permet de discriminer différents groupes: enfants avec développement typique, autistique et avec retard mental

Supervised and semi-supervised infant-directed speech classification for parent-infant interaction analysis

International audienc

Analyse de signaux sociaux pour la modélisation de l'interaction face à face

Cette thèse se situe à la frontière des domaines de la reconnaissance de signaux émotionnels et de l'analyse de l'interaction sociale. Dans un premier temps, nous avons étudié une émotion non prototypique, appelée motherese, qui joue un rôle important dans l'interaction parent-enfant. Afin d'étudier cette émotion, nous avons développé un système de détection automatique des émotions basé d'abord sur l'apprentissage supervisé. Ensuite pour pallier au manque de données étiquetées, nous avons développé une approche semi-supervisée permettant une meilleure qualité de classification avec un coût inférieur. Cette approche permet de combiner des exemples étiquetés et non étiquetés pour l'apprentissage. Le système proposé est une extension de l'algorithme de co-apprentissage. Cette approche est dite multi-vue car elle consiste à combiner différentes vues (descripteur+classifieur) afin d'obtenir une prédiction unique par exemple de test. Au-delà de la reconnaissance de signaux émotionnels, il s'agit de structurer et d'interpréter les différents signaux de communication dans un contexte d'interaction face à face. Nous avons proposé un modèle computationnel de l'interaction parent-enfant. Il consiste à modéliser les réponses des enfants par rapport aux stimulations des parents. Nous avons proposé ainsi des analyses quantitative et statistique afin d'étudier l'interdépendance des signaux d'interaction et les comportements humains, en particulier le rôle de motherese pour l'engagement de l'interaction parent-enfant. Enfin, dans le but d identifier les groupes de comportements les plus pertinents, nous avons développé une technique de regroupement automatique de signaux qui permet d extraire les différents patterns interactifs. Cette extraction de comportements interactifs permet de discriminer différents groupes: enfants avec développement typique, autistique et avec retard mental. Mots-clés : apprentissage automatique, classification semi-supervisée, co-apprentissage, fusion, signaux émotionnels, motherese, films familiaux, interaction affectivePARIS-BIUSJ-Physique recherche (751052113) / SudocSudocFranceF

Emotional speech characterization based on multi-features fusion for face-to-face interaction

International audienc

Motherese detection based on segmental and supra-segmental features

International audienc